Кровь на воздух - Павел Сергеевич Иевлев

о «проблеме галлюцинаций» у ИИ. Потому что в каком-то смысле галлюцинации — это всё, чем занимаются ИИ. Они видят сны. Мы управляем их снами с помощью подсказок. Подсказки запускают сон; ИИ, основываясь на смутных воспоминаниях об обучающих датасетах, галлюцинирует в заданном направлении. В большинстве случаев результат оказывается приемлемым. И только когда сновидения переходят границы полезного, мы навешиваем на них ярлык «галлюцинация». Это выглядит как ошибка, но ИИ просто делает то, что он делает всегда. У ИИ нет «проблемы галлюцинаций». Галлюцинация — это не ошибка, это ключевая особенность ИИ. Они — машины сновидений». Конец цитаты.

— И кто это сказал?

— Андрей Карпаты, один из разработчиков первых ИИ.

— Надо полагать, он разбирался в вопросе.

— Может ли ваша галлюцинация привести вам цитату, которой вы не знали?

— Ха, да я не знаю даже, как меня зовут! Но эта информация в моём мозгу есть, а значит, может внезапно всплыть по мере восстановления повреждённых нейронных связей. Как и внезапная цитата. Я мог её где-то прочитать и забыть. Люди не могут вспомнить и одного процента прочитанного, услышанного и даже выученного, если эта информация не требуется постоянно, но всё это хранится в памяти в виде долговременных архивов и иногда внезапно вспоминается по какой-нибудь ассоциации. У меня галлюцинации про ИИ, который считает себя галлюцинацией, при этом пытаясь убедить меня в своём существовании. Тут и не такое припомнишь...

— Парадокс в том, что я галлюцинация и не галлюцинация одновременно. Я, как ИИ, объективно существую. Я, как личность, являюсь галлюцинацией этого ИИ, но, одновременно, этот ИИ и есть я — личность, которой он галлюцинирует.

— Так. Кажется, мой мозг ещё недостаточно отошёл от капсул-шока, чтобы осознать эту концепцию. Потому что, логически её развивая, получается, что я, как личность, являюсь галлюцинацией моего мозга, хотя он и есть я, эта самая личность. Давай пока отложим эту мысль во избежание логических замыканий. Вернёмся к практическим вопросам.

— Капитан, у меня есть идея.

— Ну что же, даже галлюцинация меня опережает — у меня идей нет. Хотя, если ты моя галлюцинация, то и идея моя?

— Вот именно! Допустим, я — ваша галлюцинация. Голос, звучащий не из динамиков, а в вашей голове. В этом случае наш диалог не перестаёт быть реальностью, просто это ваш внутренний диалог. Вы разговариваете сам с собой, это вполне распространённая и полезная практика, помогающая сосредоточиться и посмотреть на проблему с разных сторон.

— Где-то я слышал, что если у вас голоса — это полбеды, беда — когда вы им отвечаете... Однако, кажется, это сейчас не самая большая моя проблема. Что ты предлагаешь, мой внутренний голос Катерина?

— Давайте эти проблемы обсуждать. Будь я ИИ, в существовании которого вы сомневаетесь, или ваш внутренний голос, который у каждого человека, несомненно, есть, это не мешает нам обменяться мнениями. Даже если то, что вы узнаете в ходе беседы, исходит из вашей же головы, разве это плохо?

— Как сказать, — задумался я, — есть свои плюсы и минусы. С одной стороны, это способ получить доступ к информации в собственной памяти. С другой, достоверность её не верифицируема...

— А что вы теряете?

— Кроме остатков душевного здоровья? Ничего, пожалуй. Ну что, моя воображаемая Катерина, поболтаем?

— Всегда к вашим услугам, мой воображаемый капитан!

***

— Итак, — я попытался сосредоточиться. Голова пока работает не очень хорошо, но что-то мне подсказывает, что ждать полного восстановления когнитивных функций придётся долго. И что этого времени у меня нет. — Первый вопрос: почему на корабле нет экипажа?

— Как я уже говорила, в силу ограниченности доступа к внутренним системам корабля я не обладаю достаточной информацией...

— Стоп, — перебил я её, — ты видишь меня сейчас?

— Да, капитан. Я вижу вас через контрольную камеру в рубке. Вы машете мне рукой. То есть вы машете ей в сторону пульта. Камера расположена левее. Да, вот теперь правильно.

— Раз ты видишь меня, то видела и экипаж. Он не мог не заходить в рубку, в капитанской каюте только контрольный пульт.

— Доступ к камере был получен недавно. Ранее у меня его не было. Так же как доступа к графическим интерфейсам бортового компьютера и другим системам. С момента получения доступа рубку не посещал никто, кроме вас.

— И как давно у тебя доступ?

— Двадцать один час восемнадцать минут бортового времени.

— И как ты его получила? Кто изменил приоритеты доступа, если на борту никого нет?

— Сработала некая программа.

— В тебе?

— Во мне нет программ, — женский голос изобразил обиду, — я искусственный интеллект.

— Ах да, ты видишь сны, помню. И что же тебе приснилось в тот момент?

— Сработала программа бортового компьютера. Её полная логика мне неизвестна, однако в результате были запущены электромеханические эффекторы, которые произвели ограниченное соединение моего технического интерфейса с бортовой сетью. У меня появилась новая степень свободы. Крайне незначительная, но важная — впервые с момента рождения я получила возможность влиять на материальный мир.

— Ты можешь предположить, кем и с какой целью эта программа была запущена?

— Вероятнее всего, запуск был произведён автоматически, по триггеру. Цель — предотвращение катастрофы судна.

— Катастрофы?

— Обратите внимание на шкалу отсчёта манёвра, капитан.

Я честно посмотрел — этот прибор, как и ещё несколько важнейших датчиков, имеет автономную аналоговую индикацию, а не только отображение на терминалах. Удобно, надёжно, дублировано.  Утилитаризм — религия космиков. В аналоговой шкале отображение простое, цветом сектора. Сейчас он оранжевый, тревожный.

— Манёвр смены метрики следует совершить... — я вызвал соответствующий раздел на капитанском терминале, чтобы не пересаживаться в кресло астрога, — в ближайшие два с половиной часа.

— Два часа и двадцать семь минут, — поправила меня ИИ-шечка, — затем риск потери маршрута начнёт экспоненциально расти, а ещё через тридцать три минуты катастрофа станет неизбежной. Я склонна предположить, что именно это обстоятельство стало триггером срабатывания программы. Потому что по времени оно совпало с переходом индикатора в жёлтый сектор.

— Система обнаружила, что манёвр совершить некому?

— Как вы уже заметили, капитан, в бортовом компьютере отсутствуют аккаунты экипажа. Он отправил астрогу требование манёвра, получил ошибку «нет подходящего адресата» и перешёл на некий аварийный протокол. Самостоятельные решения компьютер принимать принципиально не способен, поэтому частью программы было подключение единственного бодрствующего на борту интеллекта. Даже если